Geboren als unehelicher Sohn der geschiedenen Gräfin Charlotte Friderike Wilhelmine von Mellin und ihres Gutsverwalters Franz Ernst Neumann, wurde Neumann vorwiegend vom Vater und den Großeltern väterlicherseits erzogen. Erst in seiner Jugend erfuhr er von seiner Mutter und damit seiner adligen Abstammung. Er wuchs trotz des Vermögens seiner Mutter in einfachen Verhältnissen auf.

Er entwickelte schon früh einen starken Charakter, Kampfgeist und Patriotismus, so dass er als Kriegsfreiwilliger in dem Alter von ca. 15 Jahren in dem Kolberg-Regiment während der Freiheitskriege gegen Napoleon mitkämpfte. In der Schlacht von Ligny in dem Jahre 1815 wurde er von einer Kugel getroffen, die ihm Teile des Gesichts zerfetzte. Er verlor dadurch fast das Leben und musste das Sprechen wieder erlernen.

Neumann machte in dem Werder-Gymnasium in Berlin 1817 sein Abitur. Er erwarb sich schon damals, größtenteils außerhalb des schulischen Unterrichtes, eine große mathematische Kenntnis.

Obwohl er schon früh den Wunsch geäußert hatte, Mathematik zu studieren, begann er gemäß des Wunsches seines Vaters zuerst ein Studium der Theologie in Berlin, studierte anschließend in Jena und kam in dem Jahre 1819 zurück nach Berlin. Finanziert wurde sein Studium durch ein Stipendium des Unterrichstministeriums und des Geologen Leopold von Buch.

Neumann studierte und schrieb seine Dissertation bei dem Mineralogen Christian Samuel Weiß . Er hielt eine Reihe von Vorlesungen über Mineralogie in Berlin und übernahm die Betreuung des Berliner Mineralien-Kabinetts.

Er interessierte sich während des Studiums und der ersten akademischen Arbeiten in Berlin stark für die Arbeiten der französischen Mathematiker wie Adrien-Marie Legendre oder Jean Baptiste Joseph Fourier.

Durch seine Arbeit in Berlin bekannt, bekam er einen Ruf an die Universität Königsberg. Dort freundete er sich mit dem Astronomen Friedrich Wilhelm Bessel und dem Naturwissenschaftler Karl Gottfried Hagen an. Nach Hagens Tod in dem Jahr 1829 wurde Neumann um ordentlichen Professor für Mineralogie und Physik ernannt. Mitte der 1840er Jahre wurde er zu dem Rektor der Universität gewählt. Seine Lehrtätigkeit gab er 1877 auf.

1830 heratete Neumann Hagens Tochter Florentine, die ca. acht Jahre später starb und ihm fünf Kinder hinterließ.

Franz Ernst Neumanns Forschungen erstrecken sich auf Probleme in der Kristallographie, der spezifischen Wärme, der Wellentheorie des Lichts, Induktionsströme und mathematischen Methoden in der Physik.

Seine bedeutendsten Behandlungen über Merkmale von Kristallen und Mineralien, die er zwischen 1830 und 1834 schrieb, betrafen die spezifische Wärme. Er entwickelte eine genauere Fassung der Merhode der Mischungen und erweiterte das Dulong-Petit-Gesetz von einfachen zu zusammengesetzten Substanzen. Die Entdeckung, das die spezifische Wärme von Wasser sich mit der Temperatur erhöht, stammt ebenfalls aus dieser Zeit.

In den 1830ern behandelte er zusätzlich verschiedene Aspekte der Wellentheorie des Lichts. Die Frage, ob Licht Wellennatur habe (wie Christian Huygens als erster erklärte) oder aus Korpuskeln (wie Sir Isaac Newton glaubte), schien damals zugunsten der Wellentheorie entschieden, wobei man jedoch einen feinstofflichen Äther annahm, im sich die Wellen fortbewegen. 1832 entwickelte Neumann eine Theorie der Doppelbrechung, für die er den Äther als elastisches Medium auffasste, das entsprechend Claude Naviers Elastizitätsgleichungen behandelt werden könnte. Neumanns Theorie setzte zu den schon angenommen transversalen Wellen noch longitudinalen Wellen voraus.

Mitte der 1840er forschte Neumann auf dem Gebiet des Elektromagnetismus. 1845 veröffentlichte er eine allgemeine Theorie der Induktionsströme für geschlossene Stromkreise. Zwei Jahre später verallgemeinerte er seine Theorie auf veränderte Intensitäten des Stroms. Neumanns Arbeiten bildeten eine Grundlage für deutsche Forschungen auf diesem Gebiet, bis sie allmählich von Maxwells Theorien abgelöst wurden.

Neumanns pädagogische Leistungen sind unumstritten. Seinen Beitrag zur Gründung der theoretischen Physik beruhte vorwiegend auf dieser Pädagogik, mit der er die quantitativen Traditionen der Mathematik und der damaligen Physik zusammenführte, und die viele seiner Schüler nachhaltig geprägt hat. In seinen Vorlesungen beharrte er immer auf exakter Vorgehensweise, ja prägte gar ein ethisches System aus exakter Denkweise und naturwissenschaftlichem Weltbild, dass bis heute das Bild der Physiker von sich bestimmt.